本章课程PDF，视频（油管或B站）。

Fat + Short v.s. Thin + Tall

在对比Deep和Shallow的model时候，一定要保证参数数目相等，这样对比才公平。

Modularization

Each basic classifier can have sufficient training examples.

Modularization是把复杂的事情变简单，就算training data没有那么多，也可以把task做好，也就是说，deep learning需要的训练数据其实是比较少的。

Universality Theorem

shallow network可以描绘所有的function，但是使用deep结构更有效率。

Analogy

More Analogy

To learn more

1 hidden layer与3 hidden layers，参数一样，training data一样时候，3 hidden layers效果更好。

1 hidden layer的neural network学习的target不用真正的label，用3 hidden layers的output当作feature，performance会比较好，几乎跟3 hidden layers效果一样好。

并不是说明deep learning不work，是为了说明直接在一层network是learn不起来的，需要先learn三层network，再用一层的network去模拟三层network的行为，才learn的起来。

如果本博文对您有帮助，可以赞助支持一波博主~